Năm 1936, ông tham gia Hội Ái hữu là tổ chức của các công nhân, thợ thuyền, sau đó được kết nạp vào Đảng Cộng sản Đông Dương. Vào thời điểm đó, phong trào đấu tranh dân chủ của Mặt trận Dân chủ Đông Dương đang phát triển mạnh mẽ. Với bí danh Văn Công Khai, ông được Thành ủy Sài Gòn cử quê nhà Thủ Dầu Một cùng các đồng chí Nguyễn Văn Lộng, Phan Văn Khung, Phan Vân, Trần Văn Giàu phát triển cơ sở Đảng.[2] Đặc biệt là hai lần được biệt phái đến đồn điền cao su Dầu Tiếng, cùng Nguyễn Văn Tiết tham gia thành lập Chi bộ Đảng[lower-alpha 1].[2][4][5]

Tháng 6 năm 1939, ông cùng các đồng chí Nguyễn Văn Lộng, Nguyễn Thành A,... bị thực dân Pháp bắt và đưa ra xử trước tòa đại hình Sài Gòn. Trước lời tự bào chữa và sức ép của các tổ chức Hội Ái hữu, buộc chính quyền thực dân phải thả ông cùng nhiều người khác.[1]

Tháng 11 năm 1940, cuộc khởi nghĩa Nam Kỳ nổ ra và nhanh chóng thất bại, thực dân Pháp tiến hành khủng bố ác liệt, hầu hết các cơ sở Đảng đều bị vỡ. Đến đầu năm 1941 thì Bí thư Tỉnh ủy Hồ Văn Cống cũng bị bắt. Trong thời gian này, ông rút về làng 1 Sở cao su Dầu Tiếng, tìm cách bảo vệ cơ sở, móc nối với cấp ủy ở Sài Gòn.[1]

Mùa xuân năm 1943, tại làng 1 Sở cao su Dầu Tiếng, Hội nghị tái lập Tỉnh ủy Thủ Dầu Một được tổ chức trong bí mật, bầu ra Ban Chấp hành lâm thời (tức Tỉnh ủy lâm thời) gồm Bí thư Tỉnh ủy lâm thời Văn Công Khai, các Ủy viên Nguyễn Văn Thi, Nguyễn Văn Trung (về sau bổ sung thêm Lê Đức Anh, Vũ Văn Hiền,...[6]). Dưới sự lãnh đạo của ông, Tỉnh ủy Thủ Dầu Một chủ trương thực thi chỉ đạo của Xứ ủy Nam Kỳ[lower-alpha 2], tích cực chuẩn bị lực lượng để chờ đợi thời cơ khởi nghĩa vũ trang giành chính quyền.[1][2]

Đêm ngày 23 tháng 8 năm 1945, Hội nghị mở rộng được tổ chức ở làng Bưng Cầu đã ra quyết định tiến hành khởi nghĩa trong tỉnh, thành lập Ủy ban khởi nghĩa do Bí thư Tỉnh ủy Văn Công Khai làm Trưởng ban.[1] Chỉ trong vòng hai ngày, lực lượng khởi nghĩa đã làm chủ hoàn toàn tỉnh Thủ Dầu Một mà không xảy ra đổ máu. Ngày 25 tháng 8, thay mặt Ủy ban khởi nghĩa, Trưởng ban Khởi nghĩa Văn Công Khai tuyên bố xóa bỏ chính quyền Nhật Bản, thành lập chính quyền cách mạng.[8]